
Apache Kafka 基礎(chǔ)入門(mén)培訓(xùn)
課程以 Java 代碼實(shí)戰(zhàn)的方式學(xué)習(xí) Kafka。
包括 Kafka 的安裝配置、Producer API 的使用、
Consumer API 的使用以及與第三方框架 Flume、Spark Streaming 的集成開(kāi)發(fā)。
1 MQ 消息系統(tǒng)的概念
2 Zookeeper 和 Kafka 的關(guān)系
3 使用 Java 調(diào)用 Kafka topic 相關(guān) API
4 Producer 入門(mén)開(kāi)發(fā)
5 Consumer 入門(mén)開(kāi)發(fā)
6 Kafka 整合 Flume
7 Kafka 發(fā)送接收非結(jié)構(gòu)化數(shù)據(jù)實(shí)戰(zhàn)
8 Kafka 消息系統(tǒng)的基本架構(gòu)
9 使用 shell 命令修改和刪除 topic
10 查看 Kafka 中消息的存儲(chǔ)位置
11 Producer 進(jìn)階開(kāi)發(fā)
12 Consumer 進(jìn)階開(kāi)發(fā)
13 Kafka 發(fā)送接收結(jié)構(gòu)化數(shù)據(jù)實(shí)戰(zhàn)
14 Spark 2.0 讀取 Kafka 數(shù)據(jù)實(shí)戰(zhàn)
1
Kafka,
1.了解MQ消息系統(tǒng)的概念
2.理解Kafka消息系統(tǒng)的基本架構(gòu)
3.安裝單機(jī)版Kafka集群
4.使用Shell命令創(chuàng)建Topic
5.使用Consumer、Producer發(fā)送和接收消息
2
理解 Kafka 集群
1.理解Zookeeper和Kafka的關(guān)系
2.理解broker、topic、producer、consumer、partition等專(zhuān)有術(shù)語(yǔ)
3.用本節(jié)的專(zhuān)業(yè)術(shù)語(yǔ)重新回顧上節(jié)課的實(shí)驗(yàn)
3
理解 Kafka topic
1.使用shell命令修改topic、刪除topic
2.使用Java語(yǔ)言調(diào)用Kafkatopic相關(guān)API
3.查看Kafka中消息的存儲(chǔ)位置
4
Producer 開(kāi)發(fā)入門(mén)
1.開(kāi)發(fā)Producer程序的基礎(chǔ)知識(shí)
2.開(kāi)發(fā)Java程序發(fā)送消息到Kafka集群
3.學(xué)習(xí)如何創(chuàng)建一個(gè)KafkaProducer和ProducerRecord對(duì)象
4.學(xué)習(xí)如何使用默認(rèn)的partitioner和serializer發(fā)送消息
5
Producer 開(kāi)發(fā)進(jìn)階
1.畫(huà)圖展示producer發(fā)送消息到Kafka的過(guò)程
2.從源碼級(jí)別理解producer發(fā)送消息的過(guò)程
3.開(kāi)發(fā)自定義partitioner分區(qū)器
6
Consumer 開(kāi)發(fā)入門(mén)
1.理解消費(fèi)者組的概念
2.學(xué)習(xí)開(kāi)發(fā)consumer程序的基本步驟
3.編程控制消費(fèi)指定offset的消息
7
Consumer 開(kāi)發(fā)進(jìn)階
1.消息offset的同步提交
2.消息offset的異步提交
3.按partition維度提交offset
4.按處理的消息量提交offset
8
Kafka 整合 Flume
1.Flume的安裝和配置
2.Flume接收命令行消息發(fā)送到Kafka
9
Kafka 發(fā)送接收結(jié)構(gòu)化數(shù)據(jù)
1.使用Java開(kāi)發(fā)消息發(fā)送程序Producer
2.使用Java開(kāi)發(fā)消息讀取程序Consumer
10
Kafka 發(fā)送接收非結(jié)構(gòu)化數(shù)據(jù)
1.發(fā)送和接收?qǐng)D片數(shù)據(jù)
2.發(fā)送和接收視頻數(shù)據(jù)
11
Spark 2 整合 Kafka
1.使用Eclipse搭建Spark20開(kāi)發(fā)環(huán)境
2.使用Sparkstreaming讀取Kafka數(shù)據(jù),輸出到console
